Di lokasi Kirribilli Point hebat, Gibbes didirikan, antara 1842 dan 1843, sebuah rumah satu tingkat yang anggun dengan beranda luas dan pintu Perancis yang elegan. Gibbes merancang rumah itu, yang dia sebut "Wotonga" (atau "Woottonga"), dirinya sendiri. Batu untuk dinding rumah itu telah dikelilingi secara tempatan dan kayu keras dan kayu cedar berasal dari halaman kayu George Coleson di George Street, Sydney. Gibbes terlibat James Hume, seorang pembina terkenal yang berkecimpung dalam seni bina gereja, untuk mengawasi pembinaan bangunan dan kandangnya. Gibbes, bagaimanapun, mengupah tukang batu, tukang batu, tukang kayu, tukang paip dan ahli besi untuk bekerja di projek itu, membayar masing-masing secara berasingan apabila kerja semakin berkembang. Gibbes menggunakan pemotong Jabatan Kastam untuk berulang alik ke dan dari tapak bangunan. Setelah selesai, kediaman berbentuk L milik Gibbes menampilkan permukaan depan yang ringkas dan bergaya, untuk memaksimumkan pemandangan bangunan yang menakjubkan di seluruh Sydney Harbour. Pandangan ini membolehkan Gibbes untuk memantau lalu lintas penghantaran masuk dan keluar dari Darling Harbour dan, lebih penting lagi, Circular Quay, di mana Rumah Kastam Sydney terletak.

Hari ini, Wotonga menjadi teras Admiralty House dan 180 darjah bangunan bangunan, panorama pemandangan timur laut lebih hebat daripada mereka pada hari Gibbes, berikutan pertumbuhan tinggi Sydney CBD.

Gibbes, secara kebetulan, dikatakan sebagai anak tidak sah dari Duli Yang Teramat Mulia Frederick, Duke of York, (anak kedua Raja George III). Sambungan terkenal ini kepada monarki British menambah rempah   ke rumah di peranan Kirribilli Point sebagai penubuhan naib baik. [14]